Vào ngày 18 tháng 10 năm 1930, Kaltenbrunner gia nhập Đảng Quốc xã với số thành viên NSDAP 300.179.[5] Năm 1931, ông là Bezirksredner (người phát ngôn của quận) cho Đảng Quốc xã ở Oberösterreich. Kaltenbrunner tiếp tục tham gia SS vào ngày 31 tháng 8 năm 1931, số SS của ông là 13.039.[6] Đầu tiên ông trở thành Rechtsberater (cố vấn pháp lý) cho đảng vào năm 1929 và sau đó giữ vị trí tương tự cho SS Abschnitt VIII từ năm 1932.[7] Cùng năm đó, anh bắt đầu làm việc tại văn phòng luật sư của cha mình và đến năm 1933 là người đứng đầu Liên đoàn luật sư xã hội chủ nghĩa quốc gia ở Linz.

Vào tháng 1 năm 1934, Kaltenbrunner đã bị tống giam một thời gian ngắn tại trại tạm giam Kaisersteinbruch với các đảng Xã hội Quốc gia khác vì âm mưu đảo chính với chính phủ Engelbert Dollfuss. Trong khi đó, ông đã lãnh đạo một cuộc tuyệt thực khiến chính phủ phải thả ra 49 đảng viên. Năm 1935, ông lại bị bỏ tù vì nghi ngờ tội phản quốc mang tính nguy hiểm. Lời buộc tội này đã được bỏ, nhưng anh ta bị kết án sáu tháng tù vì âm mưu đảo chính và anh ta bị mất giấy phép hành nghề luật sư.[8]

Từ giữa năm 1935, Kaltenbrunner là người đứng đầu SS Abschnitt VIII bất hợp pháp tại Linz và được coi là một thủ lĩnh của SS Áo. Để cung cấp cho Heinrich Himmler, Reinhard Heydrich và Heinz Jost thông tin mới, Kaltenbrunner liên tục thực hiện các chuyến đi đến Bavaria. Trốn trên một chuyến tàu đi đến Passau, anh ta sẽ trở về với tiền và mệnh lệnh cho các đồng chí Áo. [9] Kaltenbrunner đã bị bắt một lần nữa vào năm 1937, bởi chính quyền Áo với cáo buộc là người đứng đầu tổ chức Đảng Quốc xã bất hợp pháp ở Oberösterreich. Ông đã được thả vào tháng Chín.[9]

Hành động theo lệnh của Hermann Goring, Kaltenbrunner đã hỗ trợ tại Anschluss với Đức vào tháng 3 năm 1938 và được trao vai trò là thư ký nhà nước về an ninh công cộng trong nội các Seyss-Inquart.[10] Bị điều khiển từ phía sau bởi Himmler, Kaltenbrunner vẫn lãnh đạo, nói một cách trắng trợn, SS của Áo như một phần trong nhiệm vụ của mình là 'điều phối' và quản lý dân số Áo.[11] Sau đó vào ngày 21 tháng 3 năm 1938, ông được thăng cấp SS-Brigadeführer.[12] Ông là thành viên của Reichstag từ ngày 10 tháng 4 năm 1938 cho đến ngày 8 tháng 5 năm 1945.[13] Trong hoạt động này, ông đã giúp thành lập trại tập trung Mauthausen-Gusen gần Linz. Mauthausen là trại tập trung thứ hai của Đức Quốc xã được mở tại Áo sau Anschluss.[14] Vào ngày 11 tháng 9 năm 1938, Kaltenbrunner được thăng cấp bậc SS-Gruppenführer, tương đương với một trung tướng trong quân đội khi giữ vị trí Führer của SS-Oberabschnitt Sterreich (được bổ nhiệm lại SS-Oberabschnitt Donau vào tháng 11 năm 1938). Cũng trong năm 1938, ông được bổ nhiệm làm SS cấp cao và lãnh đạo cảnh sát (Höherer SS- und Polizeiführer; HSSPF) cho Donau, là chỉ huy SS chính ở Áo (ông giữ chức vụ đó cho đến ngày 30 tháng 1 năm 1943).[15]